MLT-Dedup: Efficient Large-Scale Online Video Deduplication via Multi-Level Representations and Spatial-Temporal Matching
MLT-Dedup：基于多级表示与时空匹配的大规模在线视频去重
🧭 大规模视频去重 · 多级表示与时空匹配
TikTok · National University of Singapore
多级表示联合时空匹配，显著降低线上重复率并提升索引容量5倍
📌 工作参考价值（4 点）
- 多级表示与分级匹配范式可迁移至推荐去重：用轻量级稀疏 Embedding 快速召回候选重复商品/内容，再加载精细 Embedding 做高精度比对，平衡效率与精度，适合大规模推荐流中实时去重。
- DiF-SiM 相似度模块可用于内容理解：差异增强相似度能定位局部重复片段，可借鉴到视频/直播切分、片段检索或商品主图去背景后相似度判定，提高变体识别鲁棒性。
- 稀疏检索设计提升索引容量：用低维稀疏向量构建索引，容量翻倍，对于推荐系统里海量物品指纹索引（如向量召回库）有直接参考价值，可降低索引内存，扩大候选集覆盖。
- 在线去重决策框架：结合业务策略（容忍度、时间窗口）与相似度证据的脱耦设计，可直接移植到电商推荐中的内容质量治理、重复商品惩罚或去重策略配置。